最先进的脑对文本系统在直接使用神经网络从大脑信号中解码语言方面取得了巨大成功。但是,当前的方法仅限于小的闭合词汇,这些词汇远非足以自然交流。此外,大多数高性能的方法都需要从侵入性侵入性的数据(例如ECOG)中的数据。在本文中,我们将问题扩展到打开词汇脑电图(EEG) - 到文本序列到序列解码的序列和零句子的句子分类。我们假设人脑充当特殊的文本编码器,并提出了一个新型框架,利用了预训练的语言模型(例如,BART)。我们的模型在EEG至文本解码上获得了40.1%的BLEU-1分数,而基于零eeg的三元性情绪分类为55.6%的F1得分,这大大优于监督的基准。此外,我们表明,我们提出的模型可以处理来自各种主题和来源的数据,一旦提供了可用的数据,就会显示出高性能开放式词汇量的大脑到文本系统的巨大潜力。1
![arxiv:2112.02690v3 [CS.AI] 2024年1月8日PDF文件第1页](/bimg/3/32f026e273c1f51a9a1327e6af630e55950b8258.webp)
![arxiv:2112.02690v3 [CS.AI] 2024年1月8日PDF文件第2页](/bimg/c/c770a8a68b35a131513907fa4d50a0dd194ff897.webp)
![arxiv:2112.02690v3 [CS.AI] 2024年1月8日PDF文件第3页](/bimg/9/96a02bacd033a13301b2fc69f65143a4951708a0.webp)
![arxiv:2112.02690v3 [CS.AI] 2024年1月8日PDF文件第4页](/bimg/f/f759e54e2d12cda01cdae103887078564837bc20.webp)
![arxiv:2112.02690v3 [CS.AI] 2024年1月8日PDF文件第5页](/bimg/8/8fffff9db6b26f2ad92783c993b5d9b3b494af36.webp)
